Vers 1633, Charles Bruneau, alors Seigneur de La Rabatelière, demande à l’évêché la permission de construire une église à La Rabatelière. Celle-ci est achevée en 1633 et est consacrée le 4 novembre 1634, le jour de la Saint Charles. Il est alors proclamé patron de la nouvelle paroisse composée de Chavagnes-en Paillers, Chauché et Saint André Goule d’Oie.
Le 8 décembre 1793, pendant les Guerres de Vendée, l’église est incendiée par les Républicains. Elle sera restaurée en 1802 et 1803.
Les paroissiens s’opposent fermement à l’inventaire de biens de l’Eglise, dans le cadre de la loi de Séparation de l’Eglise et de l’Etat, en dressant des barricades devant l’église avec des troncs d’arbres.
La porte latérale gauche est ainsi ouverte à coups de haches le 23 Novembre 1906, dont les traces sont toujours visibles et porte désormais le nom de « Porte des Inventaires. ».